AI Papers Daily

#scaling law

2 篇

Understanding Reasoning from Pretraining to Post-Training

理解推理：从预训练到后训练

🧭 LLM推理的预训练-RL缩放与行为分析

New York University · Modal Labs · University of California, Los Angeles · University of Illinois Urbana-Champaign · Columbia University

以国际象棋为受控实验，揭示预训练损失可预测RL后性能，RL在困难任务中涌现新推理能力

📌 工作参考价值（4 点）

• 预训练损失是RL后性能的强预测指标：在推荐或Agent任务中，可先通过预训练损失筛选有潜力的模型/数据配置，降低RL实验成本。
• RL并非仅锐化SFT策略：在困难样本上能涌现SFT未覆盖的正确行为，提示在生成式推荐或Agent决策中，RL可能探索出更优的item/动作空间。
• RL提升斜率与预训练数据量近似线性关系，预训练投入对下游RL收益有直接放大效应，为「先大力预训练，再轻量RL」的工程路径提供依据。
• 使用棋类等可控环境作为测试平台，思路可复用于推荐系统离线模拟：设计规则明确、奖励可验证的推荐游戏，研究LLM推理行为。

Reasoning | 2026-07-16 | HF Daily | score 6/10

RLHFpretrainingscaling lawreasoningchessmath

Complete-muE: Optimal Hyperparameter Transfer and Scaling for MoE Models

Complete-muE：面向MoE模型的最优超参数迁移与缩放

🧭 MoE 超参数迁移 · dense-to-MoE 迁移

Adobe Research

提出 Complete-muE 双桥框架，实现从密集 FFN 到任意 MoE 配置的超参数零成本迁移，实现“调参密集一次，迁移所有 MoE”。

📌 工作参考价值（4 点）

• MoE 推荐模型快速冷启动：在电商推荐系统中采用 MoE 结构时，可先用小规模密集模型调优超参数，再通过 Complete-muE 规则直接迁移到各类 MoE 配置（多专家、稀疏度、共享专家等），省去高昂的超参搜索成本。
• Agent 多智体路由的超参数复用：多智能体系统中的路由网络若设计为 MoE，可从单智能体密集策略网络迁移学习率和初始化，加速 MoE 路由策略的收敛。
• 生成式推荐的 MoE 架构探索：在生成式推荐（例如使用 transformer 生成行为序列）中，可先将模型设计为密集 FFN 调参，随后灵活扩展为 MoE 并迁移超参数，无需重新搜索。
• AdamW 超参统一缩放规则：文中的完整 μE 规则（宽度和专家数缩放下的 LR、WD、初始化方差调整）可直接嵌入训练框架，在模型放大或改变专家数时自动调整超参，提升工程效率。

Training | 2026-05-22 | cs.LG | score 7/10

MoEhyperparameter transferμPSDEscaling lawAdamW